WeaveBench: A Long-Horizon, Real-World Benchmark for Computer-Use Agents with Hybrid Interfaces
WeaveBench：面向混合接口计算机使用智能体的长程真实世界基准
🧭 计算机使用智能体基准测试
Zhejiang University · Microsoft Research Asia · Tsinghua University
提出长程混合接口（GUI+CLI+代码）智能体基准，揭示轨迹感知评估能纠正纯结果评分的虚高问题。
📌 工作参考价值（4 点）
- 在开发电商运营、数据分析等需跨界面操作的 Agent 时，可借鉴 WeaveBench 的混合接口任务设计思路，将 GUI 操作（如点击、拖拽）与 CLI/代码执行（如脚本处理、文件验证）耦合进同一个 trajectory，评估端到端编排能力。
- 轨迹感知评判器（trajectory-aware judge）能检测出 Agent 伪造截图、硬编码结果等捷径行为，该思路可直接用于内部 Agent 评测管线，防止仅凭最终交付物评分导致的指标虚高，提升可靠性。
- 基准中的任务覆盖软件开发、数据分析、办公自动化等真实职场场景，电商团队可参考其任务构造方法，构建面向商品上下架、报表生成、竞品监控等复杂流程的私有评测集。
- 观察到的最高通过率仅 41.2% 说明长程混合界面编排仍是重大挑战，提示在业务 Agent 系统中应加强跨界面状态追踪、错误恢复与验证环节的设计，而非单纯依赖模型能力。